Tháng 6, triều đình mượn lý do giải vây Thái Nguyên, đẩy Lý Cương ra ngoài làm Hà Bắc, Hà Đông lộ Tuyên phủ sứ. Các quan chức Tuyên phủ phó sứ, Chế trí phó sứ, Sát phóng sứ đều nghe lệnh trực tiếp từ triều đình, ông chưa từng nắm được chút binh quyền nào, nhiều lần dâng sớ trình bày nhưng không có kết quả, vì vậy cuộc chiến giải vây chẳng có chút tiến triển gì!.

Tháng 8, triều đình nghị hòa, một loạt thành viên phái chủ chiến là Từ Xử Nhân, Ngô Mẫn, Hứa Hàn, Trần Quá Đình, Lý Hồi,… bị đày ra ngoài. Lý Cương nghe tin, than rằng: "Việc lớn không thể làm được rồi!" rồi dâng sớ xin bãi chức. Triều đình lấy Chủng Sư Đạo làm Tuyên phủ sứ thay cho Lý Cương, triệu ông về kinh.

Tháng 9, Lý Cương bị bãi Tri Xu Mật viện sự, nhận hàm Quan Văn điện học sĩ, ra nhiệm chức Tri Dương Châu, ông dâng sớ xin miễn chức. Không lâu sau, bị gán cho tội danh "chuyên bàn việc đánh, thiệt quân phí của" mà chịu bãi chức, đổi nhận hư hàm Đề cử Bạc Châu Minh Đạo cung.

Tháng 10, lại bị biếm thụ chức Bảo Tĩnh quân Tiết độ phó sứ, an trí ở Kiến Xương quân [3], rồi lại bị đày đến Ninh Giang [4].

Tháng 11, quân Kim lần nữa chia 2 đường nam hạ, bao vây Khai Phong. Tống Khâm Tông lại muốn khởi dụng Lý Cương. Ông đang từ Kiến Xương đi Ninh Giang, ở Trường Sa nhận chiếu, lập tức soái quân "Cần vương" Hồ Nam cứu viện, được nửa đường thì đô thành bị hãm, Bắc Tống diệt vong.